# _*_ coding : utf-8 _*_
# @Time : 2022/1/11 0011 19:38
# @Author : 7.xpath解析案例
# @Project : 小猿圈爬虫--4k图片解析爬取
import re

import requests
import os
from lxml import etree
if __name__=="__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }
    #指定url路径
    url = 'https://www.qiushibaike.com/pic/'
    # 获取响应数据
    response = requests.get(url=url,headers=headers)
    #手动设定响应数据的编码格式
    # requests.encoding = 'utf-8'
    page_text = response.text

    #数据解析：使用聚焦爬虫将页面中所有的趣图进行解析、提取 .*?表示任意多个字符
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?<div>'
    img_src_list = re.findall(ex,page_text,re.S)
    print(img_src_list,'保存成功')